跳到主要内容

继续预训练

上一章说过,如果你要"给模型加大量新知识",SFT 通常不够——你应该做继续预训练(Continued Pretraining,简称 CPT,也叫 domain-adaptive pretraining)。这一章就把 CPT 讲清楚:什么时候用、数据怎么准备、怎么防止把模型训崩。

1. 为什么 SFT 灌不进知识​

一个直觉不对的地方:你把 10000 条"公司产品 FAQ"喂给模型做 SFT,模型好像会背几条,但大多数事实还是记不住,或者记错。为什么?

SFT 的信号是稀疏的——每个位置一个 loss,但只在 assistant 部分算。10000 条数据每条 200 token(其中 assistant 部分 100 token),总共 100 万 token 的训练信号。相比预训练的几万亿 token,这点信号根本不够改动模型的知识存储。

SFT 的目标是"格式对齐",不是"知识学习"。模型学到的是"看到某种问题就该以某种方式回答",这个 pattern 学得很快、几千条就够。但要"知道具体事实",需要大量原始文本、多次曝光同一个知识点——这是预训练的信号密度。

所以规则是清楚的:

  • 风格/格式 → SFT 够;
  • 知识/术语/领域直觉 → CPT。

2. CPT 长什么样​

CPT 本质上就是"预训练"——目标一模一样:下一个词预测。区别只在:

  • 起点:从一个已经训好的 base model 开始,不是随机初始化;
  • 数据:领域文本,不是通用网页;
  • 规模:几十亿到几千亿 token,比预训练少几个数量级;
  • 配置:小得多的学习率,防止破坏已有知识。

一个典型 CPT 场景:

  • 医疗领域:把几十亿 token 的医学论文、临床指南、教科书喂进去,让模型熟悉医学术语和推理模式;
  • 代码领域:几百亿 token 的高质量代码(GitHub 精选),加代码 comment、README,让模型代码能力升级;
  • 中文加强:base 是英文为主的模型(比如 LLaMA-1),加几百亿 token 中文,让模型中文能力显著提升。

CPT 结束后你得到一个"更懂领域的 base model",然后再做 SFT 把它变成对话助手。CPT 是 SFT 的前一步。

3. 数据是决定成败的第一件事​

CPT 的数据质量比预训练更重要——因为你的语料本来就少,每一个坏样本的相对影响都放大很多。数据准备要做几件事:

去重。同一段文字如果反复出现,模型会过拟合到那段文字上。至少做近似去重(MinHash / SimHash),不能只做完全字面去重。

质量过滤。用一个小的分类器给每个文档打分,只保留高分的。医学场景可以用"是否含医学术语密度",代码场景可以用"是否有语法错误"这类信号。

长度过滤。太短的文档(< 50 tokens)信息密度低,太长的(> 32k)容易触发上下文问题。裁掉极端值。

格式清理。HTML、Markdown 元素、页眉页脚、乱码——都要清掉。原始网页数据里有大量这类噪声,直接训会污染模型。

多样性。同一个领域内也要多样。医学领域别全塞论文——加临床指南、教科书、患者访谈、药品说明书……不同格式不同视角能让模型学得更扎实。

混通用数据防遗忘。这是 CPT 里最重要的一条:你的 CPT 数据里应该混一部分通用预训练数据(比如 10-20%)。为什么?下一节讲。

4. 灾难性遗忘:CPT 最大的敌人​

灾难性遗忘(catastrophic forgetting) 是持续学习最经典的问题:模型学新东西的时候,会把旧东西忘掉。

在 CPT 场景下这特别糟糕。你 base model 有很强的通用能力——代码、数学、多语言、常识——花了几百万美元训出来的。你现在拿几百亿 token 的医学数据训它,医学能力上去了,但一些通用能力可能会显著下降。

为什么会遗忘?简单说:SGD 是"局部最优"的过程。你在新数据上找 loss 最低的方向走,这个方向不保护旧数据上的表现。走多了,模型的参数分布就往新数据方向偏了,旧任务上的表现自然掉下来。

解决办法:

1. 混一部分通用数据。这是最有效的做法。比如你的 CPT 数据 80% 是医学、20% 是通用预训练数据(比如 SlimPajama、FineWeb 的采样)。这 20% 就像"锚",把模型的通用能力拽住。

2. 学习率要小。CPT 的学习率一般是预训练的 1/10 到 1/100。预训练用 3e-4,CPT 用 3e-5 甚至 1e-5。学习率越小,模型偏移越少。

3. 训练轮数少。CPT 一般 1 个 epoch,最多 2 个。不要反复训——反复训一定会遗忘。

4. Weight decay 加一点。轻微的正则化能帮助保留原有能力。

5. Replay buffer。更主动的做法:保留一部分预训练数据在 buffer 里,每个 batch 随机混进来。工程复杂点,但效果好。

5. 一个实际配置​

一个中文 CPT 的例子配置(大概值,不同项目会不同):

base_model: Qwen2.5-7B         # 中英双语基座
training_data:
- domain_chinese: 60% # 你的中文领域数据
- general_chinese: 20% # 通用中文语料(wiki, 新闻...)
- english_general: 15% # 保持英文能力
- code: 5% # 保持代码能力
total_tokens: 100 billion

optimizer: AdamW
lr: 3e-5
warmup_ratio: 0.01
lr_scheduler: cosine (min_lr = 3e-6)
weight_decay: 0.01

epochs: 1
global_batch_size: 4M tokens
sequence_length: 8192

precision: bf16

注意几个细节:

  • 总 token 数远小于预训练(预训练是几万亿,CPT 是几百亿到几千亿);
  • 学习率显著小(预训练 3e-4,CPT 3e-5);
  • warmup 短(预训练几千 step,CPT 几百 step);
  • min_lr 不到 0(cosine 最低点还是有 10% 的学习率)——避免完全不学;
  • 训一个 epoch 就够——CPT 不像 SFT,多 epoch 危险。

6. Tokenizer 的问题​

CPT 里一个非常容易被忽视的问题:你的领域数据在原 tokenizer 下 token 效率如何?

举个例子:你要用一个英文为主训练的模型(比如 LLaMA-1)做中文 CPT。它的 tokenizer 里中文汉字大多要 2-3 个 byte-level token 表示——同样 100 亿字节的中文文本,实际 token 数是原生中文 tokenizer 的 2-3 倍。训练成本变高、上下文利用率变低。

解决方案:扩词表。往 tokenizer 里加几万个中文 token,重新初始化对应的 embedding。

但扩词表有个新问题:新加的 embedding 是随机初始化的,模型不认识。需要:

  • 要么大量再训(几十亿 token 才能学会新 embedding);
  • 要么用平均已有 embedding 初始化(新 token 拿它的子词 embedding 平均一下作为初始化,能显著加速学习)。

Chinese-LLaMA 项目就是这么干的——扩了几万中文 token,重新做 CPT。效果比不扩显著好。

当然更简单的做法:换一个 tokenizer 本来就对你领域友好的基座。中文用 Qwen、DeepSeek 而不是 LLaMA-1。tokenizer 是模型固有的,从 base model 层面绕开这个问题。

7. LoRA 能做 CPT 吗​

大部分情况下,不能。原因是上一章讲过的——LoRA 是"低秩"的,跨领域迁移需要的参数变化不是低秩的。

但有例外:

  • 数据不多(几亿 token)、领域偏移不大(比如通用中文 → 生活口语中文):LoRA 有效,也能省钱;
  • 希望做多个领域适配、共享一个 base:给每个领域训一个 LoRA,都挂在同一个 base 上做 multi-adapter 部署——比每个领域都全参数训一次省得多。

通用建议:CPT 用全参数。如果显存不够就用 QLoRA + 较高的 rank(比如 r=128、256),效果凑合能用。但只要预算够,全参数是首选。

8. 训练过程的关键监控​

CPT 因为总量小、影响大,一定要密切监控几个指标:

训练 loss。当然要看,稳定下降是基本要求。但 loss 只是"新数据上的表现",不代表模型好。

通用能力评估。每几千 step 跑一遍下游任务评估——MMLU(通识)、GSM8K(数学)、HumanEval(代码),甚至你的旧任务基准。如果这些分数在猛掉,你就是在遗忘——需要立即介入(增加通用数据比例、降低学习率)。

领域能力评估。你 CPT 的目标是让领域能力涨。搞几个领域相关的评估——比如医学 CPT 就跑 MedQA、代码 CPT 就跑 HumanEval-Extended。如果这些分数没涨或者反而降,说明你的数据或配置有问题。

loss 曲线的形状。健康的 CPT loss 曲线开始快速下降,然后进入平缓下降。如果 loss 一直快速下降没减速——你在过拟合小样本区间;如果 loss 完全不动——学习率太小了。

9. 常见的坑​

LR 定得和预训练一样。灾难性遗忘一半是这里来的。减 10-100 倍。

没混通用数据。等训完发现模型不会做基本对话了。至少 10% 通用数据。

epoch 太多。CPT 训 5 个 epoch,效果比 1 个 epoch 差得多。默认就 1 epoch。

数据没去重。同一篇论文在你的语料里出现了 20 次(不同网站下载的)——模型会背下这一篇。

数据没质量过滤。原始网页数据混进 CPT,效果比不 CPT 还差。数据质量比数据量重要。

评估用的东西训过了。你的评估集里的题目意外出现在训练数据里——数据泄漏。评估分数高但实际上模型没学到东西。数据准备时一定要 decontaminate(用 n-gram 匹配把评估集样本过滤掉)。

Checkpoint 不存。训完发现某个中间 step 效果更好,但没存。每 1000 step 存一次,不要嫌硬盘贵。

只关注领域 loss,不看通用能力。训了一个月,医学能力猛涨,通用能力崩了——上线之后用户抱怨"这模型智商不行"。通用能力是底线。

10. CPT 之后的路径​

CPT 完之后你有一个"领域强化的 base model"。它还是只会续写、不会对话——因为它没做过 SFT。

后面的步骤:

  1. SFT:用领域 + 通用混合的对话数据(比如 5000 条领域对话 + 5000 条通用对话)做指令微调;
  2. 可选 DPO:如果有偏好数据(专家挑选出的"好答案 vs 坏答案"),可以再做偏好对齐。

关键:SFT 数据里也要有通用数据——同样是防止遗忘。CPT 遗忘对策 + SFT 遗忘对策,双保险。

11. 一些实际的成本感​

给几个直观数字:

  • 7B CPT,50 亿 token,全参数,8 张 A100:大约 24-48 小时,云成本约 $500-1000;
  • 7B CPT,100 亿 token,QLoRA r=256,2 张 A100:约 40 小时,云成本约 $200-400;
  • 13B CPT,100 亿 token,全参数,16 张 A100:约 3-5 天,云成本约 $2000-4000;
  • 数据准备成本:往往比训练本身贵——爬取、清洗、过滤、去重可能要花几周人力。

CPT 是"值钱"的投资,但不是每个团队都需要做。先做 SFT + RAG,看能不能解决问题,再决定要不要上 CPT。

12. 一句话总结​

继续预训练是"给模型加知识"的正解:

  • 目标:让模型熟悉领域的词汇、风格、直觉;
  • 数据:几十亿到几千亿 token,混通用防遗忘;
  • 配置:小学习率、单 epoch、密切监控通用能力;
  • 成本:显著高于 SFT,但显著低于从头预训练;
  • 后续:CPT 之后必须 SFT。

CPT 是所有微调策略里最贵、最费心、也最能改变模型底层能力的方案。用得对,你能得到一个真正"懂你的领域"的基座;用得错,你花了几万块换了一个"什么都不会"的模型。

下一章我们回到最实用的话题——指令数据从哪来、怎么造。数据是所有微调的第一生产力。